SoniVis

Entwicklung eines einheitlichen Rahmens für die kombinierte auditive und visuelle Datenanalyseansätze

Hintergrund

Das Auswerten von Daten wie zum Beispiel in der Analyse von Produktionsprozessen erfordert viele Schritte, die sich nicht vollständig automatisieren lassen. Meist ist die Arbeit von  Analyst*innen, also Menschen, erforderlich. Derartige Analyseansätze zwischen automatisierter Auswertung und menschlicher Interpretation und Steuerung wurden sowohl im Forschungsfeld der Informationsvisualisierung als auch der Sonifikation, der „Verklanglichung“, also der Darstellung von Daten in Klängen, entwickelt. Während Informationsvisualisierungsansätze die computerbasierte, interaktive visuelle Darstellung von Daten erforschen, veranschaulicht Sonifikation Information auditiv durch nicht-sprachliche Klänge. Im Angesicht steigender Datenmengen und -komplexität stoßen aber beide Ansätze an ihre Grenzen, zumal die Wahrnehmungskapazitäten von Menschen als Grundlage der Interpretation der Bilder und Klänge limitiert sind.
Obwohl bereits zahlreiche Studien die auditive oder die visuelle Repräsentation von Daten untersuchten, gab es nur wenige Versuche diese beiden Kanäle zu kombinieren. Es fehlen Datenanalyseansätze, die beides auf systematische und komplementäre Weise kombinieren; also die gegenseitige Beeinflussung der Kanäle berücksichtigen. Bestehende Versuche waren oft auf einen Kanal fokussiert und vernachlässigten den anderen. Deshalb gibt es noch keinen etablierten methodischen Ansatz Informationsvisualisierung und Sonifikation in Form einer komplementären Designtheorie zu kombinieren.

Projektinhalt und -ziele

Das Projekt SoniVis zielt darauf ab, die Lücke zwischen Sonifikation und Visualisierung zu schließen. Dabei soll die Basis für eine vereinheitlichte Designtheorie einer audio-visuellen Analytics gelegt werden, die den visuellen und den auditiven Kanal miteinander ergänzt. Dafür vereinigt das Projekt Kompetenzen aus den Feldern der Informationsvisualisierung und Sonifikation. 
Im Rahmen des Projekts werden wir

  • die Bandbreite der Designmöglichkeiten für komplementäre audio-visuelle Datenanalyseansätze abstecken;
  • die praktische Umsatzbarkeit in Form einer Designstudie anhand der Analyse von Produktionsprozessen untersuchen; und
  • ein kontrolliertes Experiment durchführen, um verschiedene komplementäre audio-visuelle Analytics-Ansätze empirisch zu vergleichen.

 Methode und Ergebnisse

Das Projekt stellt den Menschen in den Mittelpunkt (human-centred) und verfolgt einen problemorientierten Forschungsprozess der auf dem Paradigma des Design Science Research basiert. Die Phasen des Entwurfs und der Evaluierung sind eng miteinander verzahnt, sodass Ansätze zeitnah überprüft werden können und so das Risiko nicht aussagekräftiger Ergebnisse reduziert wird.
Erwartete Forschungsergebnisse sind in erster Linie Designprinzipien (Kernprinzipien und Konzepte zur Steuerung des Designs) und Instanziierungen (digitale Artefakte, d.h. situierte Implementierungen in bestimmten Umgebungen). Darauf aufbauend arbeiten die Forschenden an einer Designtheorie zur Integration von interaktiver Visualisierung und Sonifikation für Datenanalyseaufgaben.
 

Publikationen

Iber, M., Enge, K., Rönnberg, N., Neidhardt, A., Schnell, N., Pollack, K., kallionpää, M., & Chamberlain, A. (2024). What you hear is what you see? Perspectives on modalities in sound and music interaction. Personal and Ubiquitous Computing. https://doi.org/10.1007/s00779-024-01835-3
Enge, K. (2024, June 18). Open Your Ears and Take a Look: From Audio-Visual Analytics to (VR) Acoustic Ecology [Invited Talk]. NYU VIDA Seminar, New York University: VIDA.
Rind, A., Blasinger, A., Enge, K., Grassinger, F., Oliveira, V. A. de. J., & Zauchinger, M. (2024, May 24). Wie können wir Daten erlebbar machen? [Demo & Poster]. Lange Nacht der Forschung 2024, St. Pölten. https://langenachtderforschung.at/station/1213
Elmquist, E., Enge, K., Rind, A., Navarra, C., Höldrich, R., Iber, M., Bock, A., Ynnerman, A., Aigner, W., & Rönnberg, N. (2024). Parallel Chords: an audio-visual analytics design for parallel coordinates. Personal and Ubiquitous Computing, 28, 657–676. https://doi.org/10.1007/s00779-024-01795-8
Aigner, W. (2024, April 15). Visualization of Time-Oriented Data. Seminar "Information Technology Outlook" - PhD Programme in Computer Science and Mathematics, Bari, Italy.
Rind, A., Enge, K., Iber, M., Rönnberg, N., Lenzi, S., Elmquist, E., Caiola, V., Lan, F., Höldrich, R., & Aigner, W. (2024). Integrating Sonification and Visualization - But Why? In H.-J. Schulz & T. Isenberg (Eds.), EuroVis 2024 - Panel (p. 5 pages). Eurographics. https://doi.org/10.2312/evt.20241100
Enge, K., Elmquist, E., Caiola, V., Rönnberg, N., Rind, A., Iber, M., Lenzi, S., Lan, F., Höldrich, R., & Aigner, W. (2024). Open Your Ears and Take a Look: A State-of-the-Art Report on the Integration of Sonification and Visualization. Computer Graphics Forum (EuroVis "24), 43(3), e15114:1-e15114:30. https://doi.org/10.1111/cgf.15114
Aigner, W., Di Francescomarino, C., Schuster, D., Turkay, C., & Zerbato, F. (2024). Human in the (Process) Mines (Dagstuhl Seminar 23271) -- Working group on Visual Process Mining: from Interaction to Knowledge. Dagstuhl Reports, 13(6), 1–33. https://doi.org/10.4230/DagRep.13.7.1
Enge, K., Fabry, L., & Höldrich, R. (2024). Flowers Revisited: A preliminary replication of Flowers et al. 1997. The 29th International Conference on Auditory Display (ICAD 2024). International Conference on Auditory Display, Troy, New York. https://doi.org/10.48550/arXiv.2407.11992
Aigner, W. (2023, October 30). Multimodal Data Exploration. Invited Talk at Dipartimento di Informatica, Università degli Studi di Bari, Bari, Italy.
Aigner, W. (2023, October 30). Multimodal Data Exploration. Seminar "Information Technology Outlook" - PhD Programme in Computer Science and Mathematics, Bari, Italy.
Rind, A., Enge, K., & Iber, M. (2023, September 29). SoniVis: Datenanalyse mit Augen und Ohren [Demo & Poster]. European Researchers" Night 2023, Graz.
Iber, M., Enge, K., Rind, A., Höldrich, R., Rönnberg, N., Bruce, W., & Aigner, W. (2023). Audio-Visual Analytics Community: Bringing Senses to Mind | Panel Discussion at ICAD 2023. 2.
Groß-Vogt, K., Enge, K., & Zmölnig, J. (2023). Reflecting on qualitative and quantitative data to frame criteria for effective sonification design. AM "23: Proceedings of the 18th International Audio Mostly Conference, 8. https://doi.org/10.1145/3616195.3616233
Enge, K., Rind, A., Iber, M., Höldrich, R., & Aigner, W. (2023). Towards a Unified Terminology for Sonification and Visualization. Personal and Ubiquitous Computing, 27(5), 1949–1963. https://doi.org/10.1007/s00779-023-01720-5
Aigner, W., Miksch, S., Schumann, H., & Tominski, C. (2023). Visualization of Time-Oriented Data (2nd ed.). Springer. https://www.timeviz.net
Aigner, W., Enge, K., Iber, M., Rind, A., Elmqvist, N., Höldrich, R., Rönnberg, N., & Walker, B. N. (2022, October 20). Audio-Visual Analytics: Potential Applications of Combined Sonifications and Visualizations [Application Spotlight]. IEEE VIS 2022, Oklahoma City, US. https://ieeevis.org/year/2022/info/spotlights#spot2
Iber, M. (2022, October 14). Research in sound & music computing @ St. Pölten University of Applied Sciences [Guest researcher"s presentation]. E3UDRES2 Work Package 4 Meeting G3-MTG19, Virtual Meeting.
Iber, M., Enge, K., Neidhardt, A., Rönnberg, N., Pollack, K., Schnell, N., & Turchet, L. (Eds.). (2022). Proceedings of the 17th International Audio Mostly Conference (AM "22). ACM. https://dl.acm.org/doi/proceedings/10.1145/3561212
Rind, A., Aigner, W., Böck, J., Grassinger, F., Oliveira, V. A. de. J., Wu, H.-Y., & Zauchinger, M. (2022, September 30). Daten erlebbar machen: Wie Daten sichtbar, hörbar und greifbar werden [Demo & Poster]. European Researchers" Night 2022, St. Pölten.
Enge, K. (2022, September 28). SoniScope - Der klingende Scatterplot [Invited Talk]. IEM Open Labs, Graz (Austria). https://alumni.tugraz.at/wir-ueber-uns/sektionen-regionalgruppen-chapters/sektion-toningenieur/programm
Aigner, W. (2022, June 30). TimeViz: Visualization of Time-Oriented Data [Invited Talk]. CSIG-VIS International Lecture Series - ChinaVis, Online. https://chinavis.org/lectures/english/index_en.html
Enge, K. (2022, June 24). ICAD Student Think Tank 2022 - Exploratory Data Analysis using Multimodal Representations: Joint Sonification and Visualization [Presentation]. ICAD Student Think Tank 2022, Virtual Meeting. https://icad2022.icad.org/think-tank/
Aigner, W. (2022, June 10). TimeViz: Visualization of Time-Oriented Data [Invited Talk]. Seminar Series on "Information Technology Outlook," Bari, Italy.
Aigner, W., Enge, K., Iber, M., Rind, A., Elmqvist, N., Höldrich, R., Rönnberg, N., & Walker, B. N. (2022). Workshop on Audio-Visual Analytics. Proceedings of the 2022 International Conference on Advanced Visual Interfaces, 92:1-92:4. https://doi.org/10.1145/3531073.3535252
Cibulski, L., Schmidt, J., & Aigner, W. (2022). Reflections on visualization research projects in the manufacturing industry. IEEE Computer Graphics and Applications, 42(2), 21–32. https://doi.org/10.1109/MCG.2022.3156846
Rind, A., Böck, J., Boucher, M., Grassinger, F., Kirchknopf, A., Stoiber, C., Stumpe, E., & Zauchinger, M. (2022). Wie können wir Daten erlebbar machen? [Demo & Poster]. Lange Nacht der Forschung 2022, St. Pölten.
Rind, A., Slijepcevic, D., Zeppelzauer, M., Unglaube, F., Kranzl, A., & Horsak, B. (2022). Trustworthy Visual Analytics in Clinical Gait Analysis: A Case Study for Patients with Cerebral Palsy. Proc. 2022 IEEE Workshop on TRust and EXpertise in Visual Analytics (TREX), 7–15. https://doi.org/10.1109/TREX57753.2022.00006
Agus, M., Aigner, W., & Höllt, T. (Eds.). (2022). Proceedings of the 24th Eurographics Conference on Visualization (EuroVis 2022) - Short Papers. The Eurographics Association. https://diglib.eg.org/handle/10.2312/2633199
Enge, K., Rind, A., Iber, M., Höldrich, R., & Aigner, W. (2022). Towards Multimodal Exploratory Data Analysis: SoniScope as a Prototypical Implementation. In M. Agus, W. Aigner, & T. Hoellt (Eds.), Proc. 24th Eurographics Conference on Visualization (EuroVis 2022) - Short Papers (pp. 67–71). Eurographics Association. https://doi.org/10.2312/evs.20221095
Elmquist, E., & Enge, K. (2022). Towards the Combination of Visualization and Sonification for Cylindrical Displays. AVI 2022 Workshop on Audio-Visual Analytics, 5. https://doi.org/10.5281/zenodo.6553824
Enge, K. (2021, October). Exploratory Data Analysis using Multimodal Representations: Joint Sonification and Visualization - IEEE VIS Doctoral Colloquium [Presentation]. IEEE VIS Doctoral Colloquium, Virtual Meeting.
Enge, K. (2021, June 25). Exploratory Data Analysis using Multimodal Representations: Joint Sonification and Visualization - ICAD Student Think Tank 2021 [Presentation]. ICAD Student Think Tank 2021, Virtual Meeting. https://icad2021.icad.org/think-tank/
Enge, K. (2021, June 19). Exploratory Data Analysis using Multimodal Representations: Joint Sonification and Visualization - KUG Doktorand*innen Forum [Presentation]. KUG Doktorand*innen Forum, Graz (Austria). https://phd.kug.ac.at/fileadmin/03_Microsites/01_Kuenstlerisch_wissenschaftliche_Einheiten/02_Doktorratsschulen/Doktoratsschule_fuer_das_wissenschaftliche_Doktoratsstudium/04_Laufende_Dissertationen/Enge_Praes1.pdf
Enge, K. (2021, June 18). Listening experiment on the plausibility of acoustic modeling in virtual reality [Invited Talk]. All Around Audio Symposium 2021, St. Pölten, Austria. https://www.fhstp.ac.at/en/newsroom/events/allaroundaudio-2021
Enge, K., Wasserfall, S., & Frauscher, E. (2021, December 5). Workshop on the Virtual Urban Soundscape Designer [Workshop]. klingt gut! symposium on sound 2021, Hamburg. https://www.klg-tenor-21.de/static/program/KlingGut2020_21%20-%20Digital%20Program%20-%20V2_2.pdf
Aigner, W. (2021, March 23). Visual Analytics for Time-Oriented Data [Invited Talk]. ERFA Industrial Data & Analytics - Zeitreihenanalyse, Kremsmünster, Austria.
Aigner, W., Enge, K., Iber, M., Rind, A., Elmqvist, N., Höldrich, R., Rönnberg, N., & Walker, B. N. (2021). Workshop on Audio-Visual Analytics – Identifying Research Gaps for Integrating Sonification and Visualization. Audio Mostly Workshops.
Enge, K., Rind, A., Iber, M., Höldrich, R., & Aigner, W. (2021). It’s about Time: Adopting Theoretical Constructs from Visualization for Sonification. Proceedings of the 16th International Audio Mostly Conference (AM"21), 64–71. https://doi.org/10/gnhmbh

Presseberichte

Neuer Artikel über audiovisuelle Datenanalyse publiziert
22.04.2024

Medium: MeinBezirk.at
Redakteurin: Stefanie Machtinger

Hören und Sehen miteinander verbinden
30.06.2022

Forscher*innen der FH St. Pölten verknüpfen unser Hören und Sehen für die Analyse von Daten

"Sehen und Hören in Einklang bringen"
22.01.2021

Medium: Die Presse
Autorin: Veronika Schmidt

Finanzierung
FWF
Laufzeit
01.09.2020 – 28.02.2025
Projektstatus
laufend